Vào lúc xảy ra cuộc Tấn công Trân Châu Cảng, Yamakaze được phân về Đội 24 của Hải đội Khu trục 4 trực thuộc Hạm đội 2 Hải quân Đế quốc Nhật Bản cùng với các tàu chị em Umikaze, Kawakaze và Suzukaze; và đã khởi hành từ Palau tham gia cuộc chiếm đóng Philippines ("Chiến dịch M"), hỗ trợ cho các cuộc đổ bộ lên Legaspi và vịnh Lamon.

Từ tháng 1 năm 1942, Yamakaze tham gia các hoạt động tại Đông Ấn thuộc Hà Lan, bao gồm việc chiếm đóng đảo Tarakan, nơi nó trợ giúp vào việc đánh chìm tàu quét mìn Hà Lan Prins van Oranje. Sau đó nó bảo vệ cho việc đổ bộ lên Balikpapan và Makassar, và vào ngày 11 tháng 2 đã đánh chìm tàu ngầm USS Shark trong eo biển Makassar[5] bằng hải pháo. Sau khi tham gia chiếm đóng khu vực Đông Java, Yamakaze đối đầu cùng một nhóm tàu tuần dương và tàu khu trục Đồng Minh trong trận chiến biển Java, được ghi nhận đã trợ giúp vào việc đánh chìm USS Pope, HMS Exeter và HMS Encounter.

Trong tháng 4, Yamakaze đã trợ giúp vào việc chiếm đóng Panay và Negros tại Philippines. Từ ngày 10 tháng 5, nó được phân về Hạm đội 1 Hải quân Đế quốc Nhật Bản và đã quay về Xưởng hải quân Sasebo để sửa chữa vào cuối tháng 5. Trong thời gian diễn ra trận Midway vào các ngày 4–6 tháng 6, nó nằm trong thành phần lực lượng chiếm đóng quần đảo Aleut dưới quyền chỉ huy của Đô đốc Shirō Takasu.

Vào ngày 25 tháng 6 năm 1942, trong khi di chuyển một cách độc lập từ Ōminato về hướng biển nội địa Nhật Bản, Yamakaze trúng phải ngư lôi phóng từ tàu ngầm Mỹ USS Nautilus và bị chìm ở cách khoảng 60 hải lý (110 km) phía Đông Nam Yokosuka ở tọa độ 34°34′B 140°26′Đ / 34,567°B 140,433°Đ / 34.567; 140.433.

Yamakaze được rút khỏi danh sách Đăng bạ Hải quân vào ngày 20 tháng 8 năm 1942.